音频驱动

1. 首页
2. 音频驱动

AniPortrait

AniPortrait是一款由腾讯开源的AI视频生成框架，通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块：Audio2Lmk模块将音频转换为2D面部标记点，而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称，能够精确捕捉面部表情和嘴唇动作。

AI项目与工具 2025年06月12日 68 点赞 0 评论 442 浏览

Hallo

Hallo是由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究团队共同开发的一种基于人工智能的肖像图像动画技术。该技术通过分层音频驱动视觉合成、端到端扩散模型、交叉注意力机制、UNet去噪器、时间对齐技术和参考网络等方法，实现了音频与视觉输出的高精度同步。Hallo具备音频同步动画、面部表情生成、头部姿态控制、个性化动画定制、时间一致性维护以及动作多样性等主要功能，显著提升了视频动画的真实感

AI项目与工具 2025年06月12日 15 点赞 0 评论 268 浏览

MOFA

MOFA-Video是由腾讯AI实验室和东京大学研究人员开发的开源图像生成视频模型。该工具通过生成运动场适配器对图像进行动画处理，能够通过稀疏控制信号（如手动轨迹、面部关键点序列或音频）实现对视频生成过程中动作的精准控制。MOFA-Video支持零样本学习，能够将多种控制信号组合使用，生成复杂的动画效果，并能生成较长的视频片段。 ---

AI项目与工具 2025年06月12日 22 点赞 0 评论 200 浏览

Loopy

Loopy是一款由字节跳动开发的音频驱动的AI视频生成模型。该模型能够将静态照片转化为具有面部表情和头部动作的动态视频，与给定的音频文件同步。Loopy利用先进的扩散模型技术，无需额外的空间信号或条件，捕捉并学习长期运动信息，从而生成自然流畅的动作。其主要功能包括音频驱动、面部动作生成、无需额外条件以及长期运动信息捕捉。Loopy适用于娱乐、教育、影视制作等多种场景。

AI项目与工具 2025年06月12日 96 点赞 0 评论 210 浏览

PoseTalk

PoseTalk 是一款基于文本和音频驱动的开源工具，专注于生成自然且逼真的头部动画视频。它通过 Pose Latent Diffusion (PLD) 模型和级联网络实现唇部同步与运动细化，广泛应用于虚拟助手、在线教育和娱乐等领域，提供多样化的动画生成能力和高度精准的唇形同步效果。

AI项目与工具 2025年06月12日 53 点赞 0 评论 320 浏览

JoyHallo

JoyHallo是一款由京东开源的AI数字人模型，专注于普通话语音到视频的转换，支持跨语言生成。它通过半解耦结构优化唇部同步效果，并结合特征嵌入和交叉注意力机制提升生成质量。JoyHallo适用于虚拟主播、在线教育、客户服务、娱乐产业等多个领域，能够显著提升内容创作效率并降低成本。

AI项目与工具 2025年06月12日 65 点赞 0 评论 488 浏览

Hallo2

Hallo2是一款由复旦大学、百度公司和南京大学合作开发的音频驱动视频生成模型。它能够将单张图片与音频结合，并通过文本提示调节表情，生成高分辨率4K视频。Hallo2采用了补丁下降、高斯噪声等数据增强技术，提升了视频的视觉一致性和时间连贯性，同时通过语义文本标签提高了生成内容的可控性与多样性。该模型适用于电影、游戏、虚拟助手等多个领域，展现出强大的内容生成能力。

AI项目与工具 2025年06月12日 80 点赞 0 评论 150 浏览

MimicTalk

MimicTalk是一款利用NeRF技术快速生成个性化3D说话人脸模型的工具，其核心功能包括15分钟内完成新身份训练、高质量视频生成、增强的表现力以及上下文学习能力。该工具通过混合适应流程、上下文风格化音频到运动模型等技术，实现了高效的数据样本利用和训练效率提升，适用于虚拟主播、远程协作、VR/AR等领域。

AI项目与工具 2025年06月12日 59 点赞 0 评论 266 浏览

DanceFusion

DanceFusion是一款由清华大学开发的开源框架，专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型，能够处理不完整或嘈杂的数据，生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景，包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等，展现了其在多领域的应用价值。

AI项目与工具 2025年06月12日 86 点赞 0 评论 379 浏览

JoyVASA

JoyVASA是一个基于扩散模型的音频驱动数字人头项目，能够生成与音频同步的面部动态和头部运动。其主要功能包括唇形同步、表情控制及动物面部动画生成，支持多语言和跨物种动画化。项目采用两阶段训练方法，结合解耦面部表示与扩散模型技术，生成高质量动画视频，广泛应用于虚拟助手、娱乐媒体、教育、广告等多个领域。

AI项目与工具 2025年06月12日 17 点赞 0 评论 445 浏览